Real-time 3D hand reconstruction in challenging scenes from a single color or depth camera

Hands are one of the main enabling factors for performing complex tasks and humans naturally use them for interactions with their environment. Reconstruction and digitization of 3D hand motion opens up many possibilities for important applications. Hands gestures can be directly used for human–computer interaction, which is especially relevant for controlling augmented or virtual reality (AR/VR) devices where immersion is of utmost importance. In addition, 3D hand motion capture is a precondition for automatic sign-language translation, activity recognition, or teaching robots. Different approaches for 3D hand motion capture have been actively researched in the past. While being accurate, gloves and markers are intrusive and uncomfortable to wear. Hence, markerless hand reconstruction based on cameras is desirable. Multi-camera setups provide rich input, however, they are hard to calibrate and lack the flexibility for mobile use cases. Thus, the majority of more recent methods uses a single color or depth camera which, however, makes the problem harder due to more ambiguities in the input. For interaction purposes, users need continuous control and immediate feedback. This means the algorithms have to run in real time and be robust in uncontrolled scenes. These requirements, achieving 3D hand reconstruction in real time from a single camera in general scenes, make the problem significantly more challenging. While recent research has shown promising results, current state-of-the-art methods still have strong limitations. Most approaches only track the motion of a single hand in isolation and do not take background-clutter or interactions with arbitrary objects or the other hand into account. The few methods that can handle more general and natural scenarios run far from real time or use complex multi-camera setups. Such requirements make existing methods unusable for many aforementioned applications. This thesis pushes the state of the art for real-time 3D hand tracking and reconstruction in general scenes from a single RGB or depth camera. The presented approaches explore novel combinations of generative hand models, which have been used successfully in the computer vision and graphics community for decades, and powerful cutting-edge machine learning techniques, which have recently emerged with the advent of deep learning. In particular, this thesis proposes a novel method for hand tracking in the presence of strong occlusions and clutter, the first method for full global 3D hand tracking from in-the-wild RGB video, and a method for simultaneous pose and dense shape reconstruction of two interacting hands that, for the first time, combines a set of desirable properties previously unseen in the literature.Hände sind einer der Hauptfaktoren für die Ausführung komplexer Aufgaben, und Menschen verwenden sie auf natürliche Weise für Interaktionen mit ihrer Umgebung. Die Rekonstruktion und Digitalisierung der 3D-Handbewegung eröffnet viele Möglichkeiten für wichtige Anwendungen. Handgesten können direkt als Eingabe für die Mensch-Computer-Interaktion verwendet werden. Dies ist insbesondere für Geräte der erweiterten oder virtuellen Realität (AR / VR) relevant, bei denen die Immersion von größter Bedeutung ist. Darüber hinaus ist die Rekonstruktion der 3D Handbewegung eine Voraussetzung zur automatischen Übersetzung von Gebärdensprache, zur Aktivitätserkennung oder zum Unterrichten von Robotern. In der Vergangenheit wurden verschiedene Ansätze zur 3D-Handbewegungsrekonstruktion aktiv erforscht. Handschuhe und physische Markierungen sind zwar präzise, aber aufdringlich und unangenehm zu tragen. Daher ist eine markierungslose Handrekonstruktion auf der Basis von Kameras wünschenswert. Multi-Kamera-Setups bieten umfangreiche Eingabedaten, sind jedoch schwer zu kalibrieren und haben keine Flexibilität für mobile Anwendungsfälle. Daher verwenden die meisten neueren Methoden eine einzelne Farb- oder Tiefenkamera, was die Aufgabe jedoch schwerer macht, da mehr Ambiguitäten in den Eingabedaten vorhanden sind. Für Interaktionszwecke benötigen Benutzer kontinuierliche Kontrolle und sofortiges Feedback. Dies bedeutet, dass die Algorithmen in Echtzeit ausgeführt werden müssen und robust in unkontrollierten Szenen sein müssen. Diese Anforderungen, 3D-Handrekonstruktion in Echtzeit mit einer einzigen Kamera in allgemeinen Szenen, machen das Problem erheblich schwieriger. Während neuere Forschungsarbeiten vielversprechende Ergebnisse gezeigt haben, weisen aktuelle Methoden immer noch Einschränkungen auf. Die meisten Ansätze verfolgen die Bewegung einer einzelnen Hand nur isoliert und berücksichtigen keine alltäglichen Umgebungen oder Interaktionen mit beliebigen Objekten oder der anderen Hand. Die wenigen Methoden, die allgemeinere und natürlichere Szenarien verarbeiten können, laufen nicht in Echtzeit oder verwenden komplexe Multi-Kamera-Setups. Solche Anforderungen machen bestehende Verfahren für viele der oben genannten Anwendungen unbrauchbar. Diese Dissertation erweitert den Stand der Technik für die Echtzeit-3D-Handverfolgung und -Rekonstruktion in allgemeinen Szenen mit einer einzelnen RGB- oder Tiefenkamera. Die vorgestellten Algorithmen erforschen neue Kombinationen aus generativen Handmodellen, die seit Jahrzehnten erfolgreich in den Bereichen Computer Vision und Grafik eingesetzt werden, und leistungsfähigen innovativen Techniken des maschinellen Lernens, die vor kurzem mit dem Aufkommen neuronaler Netzwerke entstanden sind. In dieser Arbeit werden insbesondere vorgeschlagen: eine neuartige Methode zur Handbewegungsrekonstruktion bei starken Verdeckungen und in unkontrollierten Szenen, die erste Methode zur Rekonstruktion der globalen 3D Handbewegung aus RGB-Videos in freier Wildbahn und die erste Methode zur gleichzeitigen Rekonstruktion von Handpose und -form zweier interagierender Hände, die eine Reihe wünschenwerter Eigenschaften komibiniert

Automating the search for a patent's prior art with a full text similarity search

More than ever, technical inventions are the symbol of our society's advance. Patents guarantee their creators protection against infringement. For an invention being patentable, its novelty and inventiveness have to be assessed. Therefore, a search for published work that describes similar inventions to a given patent application needs to be performed. Currently, this so-called search for prior art is executed with semi-automatically composed keyword queries, which is not only time consuming, but also prone to errors. In particular, errors may systematically arise by the fact that different keywords for the same technical concepts may exist across disciplines. In this paper, a novel approach is proposed, where the full text of a given patent application is compared to existing patents using machine learning and natural language processing techniques to automatically detect inventions that are similar to the one described in the submitted document. Various state-of-the-art approaches for feature extraction and document comparison are evaluated. In addition to that, the quality of the current search process is assessed based on ratings of a domain expert. The evaluation results show that our automated approach, besides accelerating the search process, also improves the search results for prior art with respect to their quality

From given cross-cultural difference to a new interculture: a sino-german example

Der vorliegende Beitrag zeigt die Entstehung einer neuen Inter-Kultur für eine konkrete deutsch-chinesische Unternehmenskooperation auf. Die Daten wurden mittels teilnehmender Beobachtung erhoben. Kultur wird in diesem Kontext als intersubjektive Bedeutungsherstellung verstanden. Es wird zwischen emischen und etischen Perspektiven auf Kultur unterschieden. Die Kernfrage bestand darin herauszufinden, inwieweit bestehende kulturelle Unterschiede, die auf sozio- und nationalkulturellen Dimensionen basieren, kontextualisiertes Verhalten determinieren und inwieweit MitarbeiterInnen eines chinesisch-deutschen Dienstleistungsunternehmens in der Interaktion miteinander eine neue Inter-Kultur erschaffen. In dem hier diskutierten Fall geschieht dies durch den kollektiven Gebrauch eines Umdeutung von "Praktikabilität" (practicality). Der Hauptbeitrag dieser Artikels ist folgende Erkenntnis: Kulturdimensionen beschreiben lediglich anfängliche kulturelle Unterschiede, sagen jedoch nichts aus über den von uns identifizierten Prozess kultureller Neuschöpfung, den wir als Intercultural Creation benennen. Diese Erkenntnis soll Interkulturalisten Denkanstöße für die Praxis liefern. Mit unserem Beitrag verlassen wir den Fokus auf kulturvergleichende, durch Kulturdimensionen vorgegebene Unterschiede (im Englischen als cross-cultural benannt). Wir implementieren einen paradigmatischen Wandel hin zu einem interkulturellen Verständnis emischer Prozesse des kulturellen Sinnmachens.This paper shows for a specific Sino-German case how a new interculture emerges in cross-cultural settings. It is based on participant observation in a Sino-German company. Culture is conceptualized as intersubjective sensemaking. Emic and etic perspectives on culture are differentiated. The study asked to what extent given cross-cultural difference based on large-scale cultural constructs determine behavior and to what extend employees in a Sino-German service company create a new inter-culture when interacting with each other. In our Sino-German case, employees bridged cultural difference via a new concept of "practicality". The main implication is: Cross-cultural dimensions merely describe initial cross-cultural difference, but not the nature and the outcome of Intercultural Creation. These findings encourage interculturalists to rethink their cultural practice. Hence, we implement a paradigmatic shift towards an intercultural understanding of emic cultural meanings instead of focusing on cross-cultural difference based on predefined cross-cultural dimensions

From Given Cross-Cultural Difference to a New Interculture: A Sino-German Example

Der vorliegende Beitrag zeigt die Entstehung einer neuen Inter-Kultur für eine konkrete deutsch-chinesische Unternehmenskooperation auf. Die Daten wurden mittels teilnehmender Beobachtung erhoben. Kultur wird in diesem Kontext als intersubjektive Bedeutungsherstellung verstanden. Es wird zwischen emischen und etischen Perspektiven auf Kultur unterschieden. Die Kernfrage bestand darin herauszufinden, inwieweit bestehende kulturelle Unterschiede, die auf sozio- und nationalkulturellen Dimensionen basieren, kontextualisiertes Verhalten determinieren und inwieweit MitarbeiterInnen eines chinesisch-deutschen Dienstleistungsunternehmens in der Interaktion miteinander eine neue Inter-Kultur erschaffen. In dem hier diskutierten Fall geschieht dies durch den kollektiven Gebrauch eines Umdeutung von "Praktikabilität" (practicality). Der Hauptbeitrag dieser Artikels ist folgende Erkenntnis: Kulturdimensionen beschreiben lediglich anfängliche kulturelle Unterschiede, sagen jedoch nichts aus über den von uns identifizierten Prozess kultureller Neuschöpfung, den wir als Intercultural Creation benennen. Diese Erkenntnis soll Interkulturalisten Denkanstöße für die Praxis liefern. Mit unserem Beitrag verlassen wir den Fokus auf kulturvergleichende, durch Kulturdimensionen vorgegebene Unterschiede (im Englischen als cross-cultural benannt). Wir implementieren einen paradigmatischen Wandel hin zu einem interkulturellen Verständnis emischer Prozesse des kulturellen Sinnmachens.This paper shows for a specific Sino-German case how a new interculture emerges in cross-cultural settings. It is based on participant observation in a Sino-German company. Culture is conceptualized as intersubjective sensemaking. Emic and etic perspectives on culture are differentiated. The study asked to what extent given cross-cultural difference based on large-scale cultural constructs determine behavior and to what extend employees in a Sino-German service company create a new inter-culture when interacting with each other. In our Sino-German case, employees bridged cultural difference via a new concept of ‘practicality’. The main implication is: Cross-cultural dimensions merely describe initial cross-cultural difference, but not the nature and the outcome of Intercultural Creation. These findings encourage interculturalists to rethink their cultural practice. Hence, we implement a paradigmatic shift towards an intercultural understanding of emic cultural meanings instead of focusing on cross-cultural difference based on predefined cross-cultural dimensions

Evaluation des MR-kompatiblen Inkubators und Korrelation der postnatalen cMRT-Befunde mit der körperlichen und neurologischen Entwicklung von Säuglingen

Der MR-kompatible Inkubator (MRcI) gestattet die Magnetresonanztomografie (MRT) von Früh- und Reifgeborenen unter kontrollierten Umweltbedingungen. In dieser retrospektiven Studie sollte evaluiert werden, inwieweit sich die objektive und subjektive Bildqualität sowie die diagnostische Güte der Schädel-MRT (cMRT) mit und ohne Anwendung des MRcI unterscheiden. Weiterhin sollte die prognostische Bedeutung der cMRT zum errechneten Geburtstermin untersucht werden. Einschlusskriterium war das Vorhandensein einer cMRT mit mindestens vier Standardsequenzen (TSE PD transversal, TSE T2 transversal, TSE T2 sagittal und SE T1 transversal) bei Patienten mit einem korrigierten Untersuchungsalter von < 6 Monaten. Signal-to-Noise Ratio (SNR) und Contrast-to-Noise Ratio (CNR) wurden berechnet. Die subjektive Bildqualität wurde anhand einer 5-stufigen Likert-Skala und die Relevanz von Bewegungsartefakte anhand einer 3-stufigen Likert-Skala bewertet. Die morphologische Hirnabnormität wurde mittels eines von Kidokoro et al. (2013) publizierten Scores eingeschätzt und mit den Ergebnissen der Münchner Funktionelle Entwicklungsdiagnostik innerhalb des ersten Lebensjahres korreliert. 100 cMRT (76 mit MRcI, 24 ohne MRcI) von 79 Patienten wurden eingeschlossen. In den PD- und T2-gewichteten Sequenzen konnten mit MRcI signifikant höhere SNR und CNR werden (p < 0,05). Die PD-gewichteten Sequenzen mit MRcI waren signifikant mit einem höheren Risiko für nicht-diagnostische Bildqualität assoziiert (OR 5.23; 95%-CI 1.86 14.72). Eine erhebliche Hirnabnormität korrelierte mit Entwicklungsdefiziten beim Laufenlernen (r = 0,570; p = 0,021). Der MRcI verbessert die objektive Bildqualität. Trotz der Korrelation einer erheblichen Hirnabnormität zum errechneten Geburtstermin mit motorischen Entwicklungsdefiziten innerhalb des ersten Lebensjahres sind Vorhersagen über die weitere Entwicklung nur eingeschränkt möglich

Hochauflösende Ultraschallverfahren und Doppler-Sonographie zur Mammadiagnostik bei der Hündin: High-resolution and Doppler methods in sonography of the mammary gland of the bitch

An 53 Hündinnen aus dem Patientengut der Klinik für Kleintiere der Universität Leipzig, die mit Umfangsvermehrungen der Mamma vorgestellt und anschließend in der Klinik für Kleintiere operiert wurden, wurde präoperativ eine sonographische Untersuchung der Mamma durchgeführt. Darüber hinaus wurden die Mammarkomplexe von acht tragenden und einer laktierenden Hündin mit dieser Technik untersucht. Ziel war es, Kriterien zur Einschätzung der Dignität der Tumoren mit Hilfe dieser nichtinvasiven Methode zu erarbeiten. Es sollten die Fragen geklärt werden, ob mit Hilfe der hochauflösenden Sonographie eine Aussage über Gut- oder Bösartigkeit eines Herdes möglich ist und ob dabei dieselben Kriterien entscheidend sind, die in der Humanmedizin eine zuverlässige Differenzierung erlauben. Außerdem sollte überprüft werden, welchen Beitrag die farbkodierte Duplexsonographie oder Resistance- und Pulsatilitätsindex zur Charakterisierung von Mammatumoren der Hündin leisten. Die Gesamtzahl der in die Studie eingehenden Komplexe beträgt 114. Die sonographischen Untersuchungen erfolgten mit einem 14 MHz Matrix-Linearschallkopf. Bei 70 der 114 untersuchten Lokalisationen erfolgte zusätzlich zur B-Mode-Untersuchung eine Untersuchung mit der farbkodierten Duplexsonographie. Konnten mit Hilfe dieser Methode Gefäße in der Umfangsvermehrung nachgewiesen werden, wurde in 47 von 70 Fäl-len zusätzlich der PW-Doppler eingesetzt, um Flussspektren aus den dargestellten Gefäßen abzuleiten. Aus diesen wurden Resistance-Index und Pulsatilitätsindex bestimmt. Bei der retrospektiven Auswertung der Grauwertbilder aus der B-Mode-Untersuchung wurde für jeden Komplex die Ausprägung von 12 Parametern beurteilt. Die Bilder aus der farbkodierten Duplexsonographie lieferten zusätzlich Informationen zu Gefäßzahl, Gefäßdurchmesser und Gefäßverteilung innerhalb eines Tumors. Die Exstirpate wurden pathohistologisch untersucht. Die aus der Gewebetypisierung entsprechend der WHO-Klassifikation resultierenden Gruppen sind so klein, dass nur eine deskriptive statistische Auswertung möglich war. Es erfolgte die Zusammenfassung unterschiedlicher Gewebetypen zu den Gruppen der „malignen“ bzw. „benignen“ Tumoren. Für Malignität sprechen eine unregelmäßige Randkontur (32 von 61 malignen, 4 von 48 benignen Lokalisationen), eine Schallverstärkung (36/61 malignen, 9/48 benignen Lokalisationen) oder –auslöschung (8/61 malignen, 0 /48 benignen Lokalisationen) hinter dem Tumor, Verkalkungen (20/61 malignen, 6/48 benignen Lokalisationen) sowie ein unregelmäßiger Durchmesser der Tumorgefäße (25/61 malignen, 12/48 benignen Lokalisationen). Meist gutartig sind Umfangsvermehrungen der Mamma, denen sonographisch eine klare Abgrenzung zum umgebenden Gewebe fehlt (15/61 malignen, 36/48 benignen Lokalisationen). Außerdem solche mit indifferentem retroläsionalem Schallverhalten (17/61 malignen, 39/48 benignen Lokalisationen). Kombiniert man mehrere der Parameter miteinander, ist die resultierende Teilmenge der betreffenden Läsionen kleiner, die Aussagekraft höher. Für Bösartigkeit spricht beispielsweise eine Kombination von Verkalkung und unregelmäßiger Randkontur (13 von 61 malignen, 1 von 48 benignen Lokalisationen), Verkalkung und echodichtem Randsaum („deutlich“ oder „fraglich“; 9/61 malignen, 0/48 benignen Lokalisationen) sowie mittlerer Echodichte und retroläsionaler Schallverstärkung (21/61 malignen, 6/48 benignen Lokalisationen). Für Gutartigkeit sprechen mittlere Echodichte des Tumorzentrums in Kombination mit indifferentem Schallverhalten (13/61 malignen, 33/48 benignen Lokalisationen) sowie regelmäßiger Gefäßdurchmesser bei diffuser Gefäßverteilung (3/36 malignen, 14/29 benignen Lokalisationen). Es konnte dargestellt werden, dass sich mit Hilfe der hochauflösenden B-Mode-Sonographie Kriterien aufzeigen lassen, die tendenziell für Gut- oder Bösartigkeit eines Mammatumors sprechen. Dabei ist es zweckmäßig, mehrere Parameter in die Beurteilung einfließen zu lassen. Auch die farbkodierte Duplexsonographie kann dabei einen Beitrag leisten. Die Ermittlung von Resistance- und Pulsatilitätsindex hingegen erweist sich als nicht sinnvoll. Ein Parameter, welcher in der Humanmedizin eine entscheidende Rolle zur Unterscheidung bösartiger von gutartigen Tumoren der Mamma spielt ist die Randkontur eines Tumors. Dies ist das einzige Kriterium, das auch bei Mammatumoren der Hündin einen diagnostischen Nutzen aufweist. Anhand einzelner sonographischer Parameter ist es nicht möglich, die Dignität eines Tumors vorherzusagen. Die sonographische Untersuchung kann jedoch in einigen Fällen beim Abschätzen der Prognose helfen.In 53 bitches that underwent surgery because of tumors of the mammary gland at the Department of small animal medicine of the University of Leipzig we carried out a preoperative ultrasonographic examination of the mammary gland. Furthermore eight pregnant and one lactating bitch were examined the same way. We aimed to find out, whether high-resolution ultrasound helps differentiate benign from malignant tumors. Also we wanted to evaluate criteria established for that purpose in human medicine. Use of colour-coded duplex sonography, resistance index and pulsatility index for this question are reassessed too. The total number of mammary complexes examined for this study is 114. A GE Logiq™ 9 with a 14 MHz linear array transducer was used for all examinations. Seventy of the 114 sites of mammary tissue underwent a colour-coded duplex sonography after the B scan. Blood vessels were detectet in 70 of the tumors. In 47 of these sites the PW-Doppler was used to gain flow patterns to achieve resistance- and pulsatility-index. The images were analysed retrospectively. In B scan images lesions were judged by 12 parameters. Additional information about number, diameter and distribution of vessels within a tumor was taken from the images of colour-coded duplex sonography. The excised complexes were evaluated pathohistologically. Only descriptive statistical analysis was possible because the resulting groups were very small after being sorted according to WHO-classification. Therefore the complexes of mammary glands were subsumpted into two groups – „malignant“ and „benign“ tumours. An irregular contour of the tumor (32 of 61 malignant, 4 of 48 benign tumors), signal enhancement (36/61 malignant, 9/48 benign tumors) or total shadowing (8/61 malignant, 0/48 benign tumors) behind the tumor, calcification (20/61 malignant, 6/48 benign tumors) and irregular vessel diameters (25/61 malignant, 12/48 benign tumors) are signs of malignancy. Tumors that miss a clearly detactable borderline (15/61 malignant, 36/48 benign tumors) and tumors with no signal alteration behind the tumor (17/61 malignant, 39/48 benign tumors) are benign more often. The combination of parameters reduces the number of adequate tumors and rises significance. A tumor showing an irregular contour and calcification (13/61 malignant, 1/48 benign tumors) is more likely to be malignant as well as a tumor of medium echodensity showing signal enhancement (21/61 malignant, 6/48 benign tumors). Tumors of medium echodensity without signal alteration behind the lesion (13/61 malignant, 33/48 benign tumors) and tumors with diffusely distributed vessels of regular diameter (3/36 malignant, 14/29 benign tumors) are more likely to be benign. It could be shown that high-resolution B scan parameters can help differentiate between malignant and benign tumors of the mammary gland, especially if they are used in combination with each other. Parameters from colour-coded duplex sonography can increase predicting value of B scan examinations too but there is no use of analysing resistance index or pulsatility index. One of the criteria established in human medicine ist the contour of a tumor. This parameter is of diagnostic use in mammary tumours of the bitch too. It is not possible to clearly predict the character of a tumor of the mammary gland of a bitch by only a few parameters based on a sonogram but sonographic examination can be helpful for assessing prognosis sometimes